Crawfurd kết hôn với Horatia Ann, con gái của James Perry. Từ 1821 đến 1822, bà Crawfurd đã đi cùng với Phái bộ đến Xiêm và Việt Nam trên tàu John Adam. Khi con tàu đi từ Bangkok đến Huế, bà Crawfurd đã lên bờ trên một hòn đảo ở Vịnh Xiêm, nơi bà đã gây ấn tượng đáng kể với người bản xứ.[136] Nhà văn Oswald John Frederick Crawfurd, sinh năm 1834, là con trai của họ.[137] Cặp đôi biết John Sterling và Carlyles.[138] Thomas Carlyle đã gặp Henry Crabb Robinson trong bữa tối tại nhà Crawfurds (25 tháng 11 năm 1837, tại 27 Wilton Crescent), gây ấn tượng không tốt.[139]